基于Hbase、MemcacheQ技术的民政数据管理系统设计与实现

【摘要】以信息化带动民政工作现代化，是新时期民政工作的重要任务。而随着互联网时代数据的分散性问题不断涌现——大量数据存储在不同的计算机上，信息的查找、数据分析等工作成了相当头痛的一件事。面对大数据时代的到来，针对大数据聚合、计算、统计、提取的研究势在必行。《基于Hbase、MemcacheQ技术的民政数据管理系统研究》旨在通过采用分布式可扩展数据构架和统一数据入口进行数据的输入输出等技术，构建一个高效、节约的民政数据管理系统。民政工作需要的数据量大且复杂多变，对于数据的整理一直困惑着工作人员，本文通过应用以下四方面技术构建民政数据管理系统：一、消息队列MemcacheQ。消息对列将建立一套统一的数据切入口，将数据顺序插入Hbase中，减轻数据并发压力。MemcacheQ作为缓存层解决前端程序的缓存文件分载：将MemcacheQ作为处理大数据队列中信息的临时存储中间件，数据存储在消息队列中，通过LinuxShell程序进行实时非阻塞数据存储，将信息存储到分布式Hbase数据库中，保证数据的安全性和完整性。二、Hbase。作为一个持久化分布式数据库，Hbase可以将数据进行分簇存储，各簇之间可分类型、格式，这样就可以应对各种数据变化。HStore存储是HBase数据库核心，其由两部分组成：一部分是MemStore，一部分是StoreFiles。MemStore是SortedMemoryBuffer。通过内存区域存储保证数据存取的高效。数据通过逐级合并、复制，让数据形成多节点存储，保证了HBaseI/O的高性能。三、Virtualbox。Virtualbox可以将服务器分为N个子虚拟机，让不同的虚拟机分载不同的业务和数据压力，实现数据分部、分项。分布式技术结合使用Oraclevirtualbox，将N台物理机进行底层的Linux系统安全化。将Virtualbox运行在Linux上，通过PHPforVirtualbox进行页面端管理。可以根据业务和物理机硬件情况进行Cpu、内存自主分配，构建了灵活的虚拟机管理架构。四、Memcache。Memcache做为前端应用访问层的缓存数据中心，它具有高效、易操作等特性。将用户身份验证、信息推送、在线帮助等功能数据存入其中，可以提高前端访问层快速浏览。本文研究可以降低大数据单位的数据维护时间和成本，为其提供更好的大数据管理，满足其对大量数据的统计和分析需求。本文针对民政工作中的复杂应用初步构建了基于分布式网络结构的民政数据管理系统。系统在使用过程中已具备高并发压力、数据多种类型支持能力，并保证了数据的多机构共享等功能，在不断使用中还是有一些需改进的部分，我们将通过不断的技术更新来解决这些问题，在未来系统的设计将更加完善。
【作者】潘博；
【导师】赵阔；
【作者基本信息】吉林大学，计算机技术，2014，硕士
【关键词】Hbase；MemcacheQ；分布式；Virtualbox；

【参考文献】
[1]兰敏.受众对传统媒体信任度的实证研究[D].西南交通大学,行政管理,2013,硕士.
[2]潘洋宇.面向逆向工程的小波技术研究与应用[D].南京理工大学,2007.
[3]平建峰.基于纳米功能材料的乳品安全和品质快速检测方法与仪器研究[D].浙江大学,2012.
[4]王鹏.苝修饰钛氧功能材料的合成与组装[D].苏州大学,2014.
[5]吴超,冯珊,周凯波.基于数据仓库的经济监测与管理决策支持系统[J].武汉理工大学学报(信息与管理工程版),2005,04:158-160.
[6]郑文君.双关辞格的多角度研究[D].安徽大学,汉语言文字学,2013,硕士.
[7]林莹.藿砂口服液治疗痰湿中阻型功能性消化不良临床疗效观察及对胃电图的影响[D].福建中医药大学,中西医结合临床（专业学位）,2013,硕士.
[8]廖永坚.陶瓷企业能源管理中心项目评估[D].广东财经大学,工商管理（专业学位）,2014,硕士.
[9]丁宇.纳米氧化物包覆羟基磷酸钙防锈颜料的合成与性能[D].河北大学,无机化学,2014,硕士.
[10]金娅娜,冷冰,张帆,刘琴,邱景富,唐晓君,尹岭.中国农村心脑血管疾病卫生技术评估的系统评价[J].中国循证医学杂志,2015,03:276-281.
[11]张宁.企业家社会资本与企业成长关系研究[D].西安电子科技大学,国民经济学,2012,硕士.
[12]宋施仪.圆形头痛5例报告及文献复习[D].吉林大学,临床医学,2013,硕士.
[13]方标.用NMMO制备含黄酮类化合物的再生桑皮纤维研究[D].西南大学,资源纤维学,2013,硕士.
[14]邢葆轶.基于QNX的七自由度机械臂控制系统设计[D].沈阳理工大学,控制工程,2013,硕士.
[15]鲁珍.酶解—超滤蚕蛹蛋白制备呈味基料的研究[D].广东海洋大学,食品科学,2013,硕士.
[16]谭英.成都地区住院患者骨质疏松骨折危险因素相关性研究[D].遵义医学院,内科学（专业学位）,2012,硕士.
[17]宁静,智林杰.基于碳纳米材料的柔性透明导电薄膜研究进展[J].科学通报,2014,33:3313-3321.
[18]张成军.骑士文学对后世文学的影响探析[D].上海师范大学,比较文学与世界文学,2004,硕士.
[19]邓瑗.论20世纪初（1900-1917）中国小说的情感书写[D].南京大学,中国现当代文学,2013,硕士.
[20]吴玉玲.当归补血汤加味（惜视饮）治疗非增殖期糖尿病视网膜病变的临床观察[D].福建中医药大学,中医内科学（专业学位）,2013,硕士.
[21]万忠民.系列大环二萜酯Euphorbia factor L_3衍生物的设计与合成[D].成都理工大学,生物工程,2013,硕士.
[22]毕大强,王祥珩,李德佳,余高旺,王赞基,王维俭.变压器和应涌流的理论探讨[J].电力系统自动化,2005,06:1-8.
[23]刘迪.基于图像特征的各向异性扩散滤波算法研究[D].西南交通大学,通信与信息系统,2014,硕士.
[24]葛鑫敏.我国建立民事公益诉讼制度的法律思考[D].吉林财经大学,法律（专业学位）,2014,硕士.
[25]赵红梅.人的生命价值哲学探究[D].上海大学,马克思主义哲学,2014,硕士.
[26]刘先华,李凌浩,陈佐忠.内蒙古锡林河流域植被多样性特点及其与气候因子的关系[J].植物生态学报,1998,05:83-89.
[27]许芳.高中地理新教材（必修1）的比较与整合使用研究[D].河北师范大学,学科教学,2012,硕士.
[28]郭丽娜,方程,李怡萍,许向利,仵均祥.梨小食心虫自然种群与室内继代饲养种群生物学特性比较[J].昆虫学报,2014,02:226-234.
[29]胡执一.生物响应性多重核壳结构的构筑[D].武汉理工大学,材料学,2012,硕士.
[30]吴锴.甲磺酸多沙唑嗪对BPH患者夜尿症状的临床疗效观察[D].河北医科大学,外科学（专业学位）,2014,硕士.
[31]陈伟,于泳,杨荣峰,徐壮,徐殿国.异步电机自适应全阶观测器算法低速稳定性研究[J].中国电机工程学报,2010,36:33-40.
[32]王伟平.数字图书馆版权模式的比较研究[D].浙江大学,法律（专业学位）,2012,硕士.
[33]游代安,余旭初,王建荣.一种基于知识的遥感图像模糊分类算法[A].中国工程图学学会.中国图象图形学会第十届全国图像图形学术会议（CIG’2001）和第一届全国虚拟现实技术研讨会（CVR’2001）论文集[C].中国工程图学学会:,2001:6.
[34]魏红梅,董臣强,张明振.斜坡带曲流河道砂体成藏模式及描述方法——以老河口油田为例[J].石油地球物理勘探,2003,02:173-177+220-109.
[35]孟宜静.盗窃罪客观方面行为方式新解读[D].河北经贸大学,刑法学,2014,硕士.
[36]刘明虎.中国“新生代”绘画艺术时代性分析[D].江南大学,美术学,2012,硕士.
[37]郭照川.试论王筠的《说文》表意字研究[D].河北师范大学,汉语言文字学,2004,硕士.
[38]贾现军.小型水下救援机器人位姿控制及其在水下搜救中的应用[D].浙江大学,2014.
[39]王蕴坤.脑损伤昏迷后丘脑连接结构变化与意识障碍的相关性研究[D].第二军医大学,外科学（专业学位）,2013,硕士.
[40]苏佩衡.学生民事权利实现法律问题研究[D].吉林大学,民商法学,2004,硕士.
[41]杜青霞.高中生数学概念多元表征的调查研究[D].华中师范大学,学科教学,2014,硕士.
[42]徐峰.插电式混合动力汽车开发研究[D].吉林大学,车辆工程,2013,硕士.
[43]张伟彬.契丹辽国音乐图像研究[D].河北师范大学,音乐学,2012,硕士.
[44]马南.高速公路互通景观设计研究[D].湖南大学,工业设计工程,2011,硕士.
[45]胡雁雁.我国旅游就业及相关格局研究[D].东北财经大学,统计学,2003,硕士.
[46]赵国杰.JIT采购在H公司的应用研究[D].苏州大学,工商管理（专业学位）,2014,硕士.
[47]李艺.淄博市五音戏剧院演员及其演出活动的调查与研究[D].青岛大学,音乐与舞蹈学,2013,硕士.
[48]邓敏.公共租赁住房BOT建设模式研究[D].浙江大学,项目管理（专业学位）,2012,硕士.
[49]刘丽萍.基于空间模型的生产性服务业集聚与经济增长关系研究[J].审计与经济研究,2013,06:91-99.
[50]任明仑,杨善林,朱卫东.智能决策支持系统:研究现状与挑战[J].系统工程学报,2002,05:430-440.